第2章 ニューラルネットワークを用いた自然言語処理
2-1 トークン化と前処理
トークン
分割によって得られた文の構成要素 (p.8)
文の分割単位として、単語分割、文字分割、サブワード分割
2-2 ニューラル言語モデル
ニューラルネットワークにより実現される言語モデル (p.10)
ニューラル言語モデルによるトークンの分散表現は、「タスク非依存の汎用的な言語的特徴」を表すとされる
言語モデル
文章の出現しやすさを確率によってモデル化 (p.11)
「私は家を食べた」より「私はパンを食べた」のほうが出現しやすい
「私はパンに食べた」より「私はパンを食べた」のほうが出現しやすい
文章の自然さを確率によって表している (p.11)
ニューラルネットワーク
なんらかの変換を行う層（layer）の組み合わせ (p.12)
入力値に対して、線形変換と非線形変換（活性化関数）を適用して、返り値を返す
層の定義によって、線形変換と非線型変換を指定できる
構築にあたって
入力層：embedding layer
トークンそれぞれを密なベクトル表現に変換する
関連：Word Embeddings: Encoding Lexical Semantics
学習データは自動的に作れる
["これ"] -> "は"
["これ", "は"] -> "テスト"